Dentre os indicadores de qualidade divulgados pelo Sistema Nacional de Avaliação do Ensino Superior (Sinaes) no Brasil, o Indicador de Diferença entre os Desempenhos Observado e Esperado (IDD) tem a proposta de mensurar a contribuição do curso para o desempenho do estudante durante a sua graduação. Esta pesquisa oferece uma nova metodologia de cálculo para o IDD (Modelo IDD-VDCF), examinando os fundamentos filosóficos e estatísticos das medidas de qualidade, com foco naquelas que capturam o valor agregado como um crescimento do conhecimento do estudante. A pesquisa incluiu uma amostra de 30.668 estudantes provenientes de 911 cursos de graduação em Ciências Contábeis no Brasil. A inserção das variáveis de controle (ao nível do estudante e da instituição) reduziu o viés da estimação do IDD associado à seleção do estudante em cursos específicos de Ciências Contábeis. Os resultados chamam atenção para a necessidade de se considerar o contexto de aprendizagem dos estudantes quando se quer comparar o desempenho entre instituições com base em testes padronizados. A maior contribuição deste trabalho é o desenvolvimento de uma medida que esclarece melhor qual é a contribuição do curso para o desempenho do estudante e o que é apenas um reflexo da capacidade prévia deste estudante.

Among the quality indicators released by the Brazilian Higher Education Assessment System (Sinaes), the Indicator “Difference between Observed and Expected Performance” (IDD) has the purpose of measuring the contribution of the course to student achievement during undergraduate programs. The research presented here offers a new methodology for calculating the IDD (Model IDD-VDCF), examining the philosophical and statistical underpinnings of quality measures, focusing on those that capture the value-added as a student achievement growth. The survey included a sample of 30,668 students, from 911 accounting undergraduate programs in Brazil. The insertion of control variables (at the student and at the institution level) reduced the bias of the IDD estimate associated with the student's selection in specific Accounting Sciences courses. The results call attention to the need to consider the students' learning context when one wants to compare the performance between institutions based on standardized tests. The major contribution of this work is the development of a measure that disentangles more fully what the contribution of program is to student learning, and what merely is a reflection of the capacity that a student brought to the program.

RESUMO Definir qualidade no ensino superior não é algo trivial, já que o próprio conceito de qualidade pode ter diferentes significados em diferentes contextos. A despeito das falhas conceituais e metodológicas que envolvem os rankings universitários, eles são uma realidade que veio para ficar. Eles necessitam de dados sobre as mais diversas dimensões da vida universitária, mas a falta de métricas específicas e a própria mensuração de impactos, são enormes desafios. A proposta deste trabalho é discutir as bases conceituais para um sistema de gestão de dados unificado entre as Instituições Federais de Ensino Superior (IFES). Sugere-se a criação de uma unidade de inteligência capaz de assegurar e aprofundar o autoconhecimento institucional por meio do monitoramento de indicadores e divulgação de dados para subsidiar o diálogo permanente e necessário intra e, principalmente, extra muros. Para tanto, faz-se uma discussão sobre dois aspectos fundamentais: a importância da governança e os aspectos operacionais intrínsecos de uma unidade de gestão de dados em cada IFES. Em relação à governança, discute-se a missão e o papel dos atores envolvidos; e quanto à operacionalização, discute-se a definição de conceitos, os instrumentos de coleta e análise de dados, a criação de indicadores críticos e a difusão da informação. As IFES já coletam, armazenam e fornecem dados institucionais sistematizados a diversos órgãos de controle e fomento. No entanto, a pulverização de fontes e formatos, a incompletude e a descontinuidade temporal e a falta de estruturação dos dados nos diferentes sistemas limitam sua interoperabilidade. A constituição de uma unidade que promova a curadoria e processamento de dados estratégicos com base na autonomia e acesso ágil e simples de informações é, portanto, fundamental.

ABSTRACT Defining quality in higher education is not trivial, since the concept of quality itself can have different meanings in different contexts. Despite the conceptual and methodological flaws that involve university rankings, they are a reality and have come to stay. They need data on the most diverse dimensions of university life, but the lack of specific metrics and the measurement of impacts themselves are enormous challenges. The purpose of this work is to discuss the conceptual bases for a unified data management system among federal institutions of higher education (IFES in Portuguese). We suggest the creation of intelligence units capable of ensuring and deepening institutional self-knowledge through the monitoring of indicators and dissemination of data to support the permanent and necessary dialogue within and, mainly, extra walls. To this end, we discuss two fundamental aspects: the importance of governance and the intrinsic operational aspects of a data management unit at each IFES. Concerning governance, we discuss the mission and role of the actors involved; and regarding operationalization, we discuss the definition of concepts, the instruments of data collection and analysis, the creation of critical indicators and the dissemination of information. The IFES already collect, store and provide structured institutional data to several auditing and funding agencies. However, the dispersal of sources and formats, incompleteness and temporal discontinuity and the lack of structuring of data in the different systems limit their interoperability. The establishment of a unit that promotes the curation and processing of strategic data based on autonomy and fast and simple access to the information is, therefore, fundamental.

Resumo: A avaliação da qualidade das escolas tem sido objeto de pesquisas de economistas, educadores, formuladores de políticas e vários stakeholders em todo o mundo. No Brasil, o Sistema Nacional de Avaliação do Ensino Superior (Sinaes) é uma iniciativa que busca avaliar os programas de graduação do País, seus professores e o desempenho dos estudantes, além de fornecer indicadores de qualidade que explicam a diferença entre esses programas. Um deles é o Indicador de Diferença entre Desempenhos Observado e Esperado (IDD), que mede a contribuição de um programa de graduação para o desempenho dos seus estudantes. Desde 2006, os legisladores vêm mudando a metodologia de cálculo do referido indicador, buscando aprimorá-la como uma medida precisa do valor agregado. Esta pesquisa tem como objetivo discutir essas alterações e seus impactos no ranking dos cursos de graduação em Contabilidade no Brasil. Um design quantitativo foi utilizado para testar quatro modelos de valor agregado registrados nos históricos do IDD e para identificar o impacto dessas mudanças metodológicas. A amostra foi composta por 30.668 estudantes de 911 cursos de Ciências Contábeis. Os resultados mostram que o modelo atual é mais preciso do que os anteriores. No entanto, tanto a literatura quanto os resultados indicam que o modelo pode ser aprimorado com a introdução de variáveis explicativas para o desempenho acadêmico que não podem ser controladas por instituições de ensino superior. O IDD ainda é inadequado porque considera todas as instituições e todos os estudantes como iguais.

Abstract: School quality assessment has been the object of research of economists, educators, policymakers, and various stakeholders worldwide. In Brazil, the National Assessment System for Higher Education is an initiative that seeks to assess the country’s undergraduate programs, their faculty, and student achievement, as well as to provide quality indicators that account for the differences between them. One such indicator is the Indicator of Difference Between Observed and Expected Achievements (IDD), which measures the contribution of undergraduate programs to student achievement. Since 2006, policymakers have altered their estimation methodology, seeking to improve it as an accurate value-added measure. This research aims to discuss this change and its impacts on the ranking of undergraduate programs in Accounting in Brazil. A quantitative design was used to test four value-added models included in the historical records of the IDD and to identify the impact of these methodologies. The sample consisted of 30,668 students from 911 accounting schools. The results show that the current model is more accurate than the previous ones. However, both the literature and the findings indicate that the model could be improved by introducing explanatory variables for academic achievement that cannot be controlled by higher education institutions. The IDD is still unsuitable because it considers all institutions and all students equal.

Resumen: La evaluación de la calidad de las escuelas ha sido objeto de investigaciones por parte de economistas, educadores, responsables de la formulación de políticas y diversos stakeholders de todo el mundo. En Brasil, el Sistema Nacional de Evaluación de la Educación Superior (Sinaes) es una iniciativa que busca evaluar los programas de graduación del país, sus profesores y el rendimiento de los estudiantes, además de proporcionar indicadores de calidad que explican la diferencia entre esos programas. Uno de ellos es el Indicador de Diferencia entre Rendimientos Observado y Esperado (IDD), que mide el aporte de un programa de graduación para el rendimiento de sus estudiantes. Desde 2006, los legisladores están cambiando la metodología de estimación del indicador, buscando mejorarla como una medida exacta del valor agregado. Esta investigación tiene como objetivo discutir esos cambios y sus impactos en la clasificación de los cursos de graduación en Contabilidad en Brasil. Se utilizó un diseño cuantitativo para probar cuatro modelos de valor agregado registrados en los históricos del IDD y para identificar el impacto de esos cambios metodológicos. La muestra fue conformada por 30.668 estudiantes de 911 cursos de Contabilidad. Los resultados muestran que el modelo actual es más exacto que los anteriores. Sin embargo, tanto la literatura como los resultados indican que el modelo puede ser mejorado con la introducción de variables explicativas para el rendimiento académico que no pueden ser controladas por instituciones de educación superior. El IDD aún es inapropiado porque considera a todas las instituciones y a todos los estudiantes como iguales.